Cả nhà chỉ có ông theo con đường binh nghiệp. Bố ông làm công tác chính quyền tại thị xã Duy Tiên, các cụ nhà ông 5 lần sinh nở, nhưng chỉ có anh trai thứ 2 (Ngô Xuân Vĩnh) và ông thứ 4 (Ngô Xuân Lịch) là nuôi được. Còn anh cả, anh ba và em út đều mất từ nhỏ. Nhà có hai anh em nên luôn yêu quý và nhường nhịn nhau.

Ông có anh trai là ông Ngô Xuân Vĩnh (sinh năm 1949), cháu ruột là Trung tá Ngô Quốc Bảo (sinh năm 1983)- Phó Chính ủy Sư đoàn 395 thuộc Quân khu 3.